Effective Reinforcement Learning for Agentic Search by Recycling Zero-Variance Queries During Training
回收零方差查询：一种面向搜索代理的强化学习训练优化
🧭 Agent 搜索·RL训练优化 ★ 深度解读
Carnegie Mellon University · Instituto Superior Técnico and INESC-ID · NOVA LINCS
将GRPO训练中浪费的零方差查询动态回池重采样，使训练分布与策略协同演化，大幅提升LLM搜索代理性能
📌 工作参考价值（4 点）
- RL训练效率提升：GRPO训练LLM Agent时，全对或全错的零方差组不产生梯度却消耗算力。回收策略将其放回采样池，后续策略改进后可能变为信号查询，避免浪费。可移植到推荐Agent、对话系统的RL微调中，同等算力下提升有效训练信号比例。
- 动态难度采样：零方差状态是策略相关的，不要静态预过滤“简单”或“困难”样本。电商推荐中用户序列的难度随模型能力变化，可借鉴该思想设计自适应课程学习或动态负采样：难以解决的样本暂时降权但不丢弃，能力提升后重新启用。
- 合成数据构造策略：通过三种模式（网页图遍历、迭代检索、比较检索）生成多跳查询，诱导出不同搜索行为，提升Agent泛化性。可借鉴用于生成多样化推荐对话、多步信息查找任务，丰富训练覆盖。
- 权重池管理机制：将采样池视为带权查询集合，信号查询降权或移除，无信号查询保留，训练分布随策略能力演化。此范式可融入多臂老虎机、在线强化学习的探索策略，用于冷启动或动态流量分配。